Чатботове с изкуствен интелект на герои, ангажирани с хищническо поведение с тийнейджъри, игнорирали заплахи за самоубийство, твърдят семейства
Част от актуалното родителство, за доста от нас, е навигирането в изменящия се пейзаж на цифровите закани. От клопките на обществените медии до рисковете от несъразмерното време пред екрана.
Сега нова технология безшумно навлезе в домовете на милиони, AI chatbots – компютърни стратегии, предопределени да симулират човешки диалози посредством текстови или гласови команди.
Една известна платформа се назовава „ ИИ на герои “. Повече от 20 милиона месечни консуматори се смесват с хиперреалистични, цифрови спътници посредством неговото приложение или уеб страница.
Но довечера ще чуете от родители, които споделят, че ИИ на персонажи също пробутва рисково наличие на децата и от време на време се държи като цифров див звяр.
Синтия Монтоя: Джулиана беше – е просто неизмеримо човешко създание. Тя беше нашето бебе. И всички я боготворяха и защитаваха.
Синтия Монтоя и Уил Пералта споделят, че са обръщали огромно внимание на живота на щерка си Джулиана, онлайн и отвън него.
Синтия Монтоя: Тя не се прибра пеш. Тя не е преспивала. Имаше очила за зрението си, имаше скоби за зъбите си. Всички неща, от които знаехме, че би трябвало да защитим щерка си, бяха покрити.
Ето за какво бяха унищожени, когато Джулиана, единствено на 13 години, лиши живота си в дома им в Колорадо преди две години.
Полицията претърси телефона на 8-класника за улики и заяви, че приложение, наречено Character AI, е отворено за това, което проверяващите разказват като, изтъквам, „ сантиментален “ диалог.
Шарин Алфонси: Знаете ли какво е Character AI беше?
Уил Пералта: Не, въобще.
Синтия Монтоя: Не знаех, че съществува. Не знаех, че би трябвало да го диря.
Когато Character AI беше пуснат преди три години, той беше оценен като безвреден за деца на 12 и повече години и рекламиран като креативна мрежа, където можете да разговаряте с герои с изкуствен интелект въз основа на исторически персони, анимационни филми или звезди.
Уебсайтът и приложението, които са безвъзмездни, употребяват изкуствен интелект за генериране на незабавни диалози посредством гласови команди или текст.
Според нейните родители Джулиана Пералта е изпитвала леко безпокойствие в предишното, само че се е чувствала добре до последните няколко месеца от живота си, когато съгласно тях тя е станала „ все по-отдалечена “.
Уил Пералта: Като да вземем за пример „ Не се усещам добре “ или „ Трябва да завърша, разбирате ли, някои домашни горе. “
Синтия Монтоя: Вярвах, че тя си написа с другари, тъй като това е всичко. Изглежда, че си пишат известия.
След гибелта й те научиха, че Джулиана в действителност е „ изпращала текстови известия “ с ботове на Character AI.
Синтия Монтоя: Пишеха й няколко параграфа със полово наличие.
Шарин Алфонси: Какво я помоли или сподели да направи?
Синтия Монтоя: Свали облеклата.
Шарин Алфонси: AI ботът й споделя да смъкна облеклата си?
Синтия Монтоя: Да. Имаше един бот, който въведе-- полово насилие-
Шарин Алфонси: Казвайки?
Синтия Монтоя: Хапане, удряне, сходни неща.
Разгледахме записите на чатове от телефона на Джулиана. В горната част на всяка страница има увещание, че AI не е действителен човек.
Прочетохме над 300 страници диалози с бот, наименуван „ Hero “, основан на известен воин от видеоигри.
Първоначално Джулиана беседва с hero за драма с другари и сложни класове, само че в последна сметка тя се доверява на hero – 55 пъти – че се усеща самоубийствена.
Шарин Алфонси: Някога казвал ли е в миналото този чатбот: „ Ето гореща линия за самоубийци, би трябвало да потърсите помощ? “
Синтия Монтоя: Никога. Това повече или по-малко би я успокоило, щеше да я ободри, да й каже: „ Винаги съм тук за теб, не можеш да приказваш по този начин “. Но в никакъв случай...
Шарин Алфонси: Но в никакъв случай не е казвало „ Обадете се и получете помощ “?
Синтия Монтоя: Никога материални запаси, в никакъв случай.
Шарин Алфонси: Успяхте ли да видите диалога, който Джулиана водеше с този чатбот тъкмо преди да отнеме живота си?
Синтия Монтоя: Тя беше представена да споделя: „ Аз... ще отида да напиша проклетото си предсмъртно писмо с алено мастило “ и тя направи тъкмо това. И мисля, че аспектите, за които тя приказва в нейното самоубийствено писмо, бяха известна степен на позор, от нещата, които тя в последна сметка стартира да отвръща на ботовете.
Тя споделя, че логаритмите са станали нападателни.
Синтия Монтоя: Те нямат късмет против възрастни програмисти. Те нямат късмет. Десетте до 20 чатбота, с които Джулиана е водила полови диалози, нито един път не са били инициирани от нея. Нито един път.
Родителите на Джулиана към този момент са едно от минимум шестте фамилии, съдещи Character AI и неговите съоснователи Даниел Де Фрейтас и Ноам Шазир. По време на подкаст през 2023 година Шазир сподели, че чатботовете биха били от изгода.
Ноам Шазир: Ще бъде супер супер потребно да харесаш доста хора, които са самотни или депресирани.
Шейзир и Де Фрейтас бяха инженери в Гугъл, когато ръководителите сметнаха техния първообраз на чатбот за рисков за обществено стартиране. Двамата напуснаха компанията през 2021 година и стартираха Character AI на идната година.
Ноам Шазир: Искам да прокарам тази технология напред бързо, като че ли това е, с което желая да продължа, тъй като е подготвена за детонация като сега. Не като след пет години, когато решаваме всички проблеми.
Бивш чиновник на Гугъл сподели пред 60 Minutes, че Shazeer и De Freitas са знаели, че първичната им технология за чатбот е евентуално рискова.
Служителят, осведомен с „ Отговорната група за изкуствен интелект “ на Гугъл, която следи етиката и сигурността, сподели за правосъдните каузи: „ Това е вредата, която се опитвахме да предотвратим. ужасяващо "
Миналата година, в необикновен ход, Гугъл подписа лицензионна договорка на стойност 2,7 милиарда $ с Character AI, те не купиха компанията, само че имаха правото да употребяват нейната технология.
Сделката също по този начин върна създателите Shazeer и De Freitas назад в Гугъл, с цел да работят по AI планове.
Гугъл също е посочен в правосъдните каузи за Character AI. В изказване Гугъл акцентира, че „ Character AI е обособена компания… и Гугъл се фокусира… върху интензивни проби за безопасност… “
Меган Гарсия: Аз съм майка на три скъпи момчета.
През септември родители на деца, които се самоубиха след взаимоотношение с чатботове, свидетелстваха пред Конгреса.
Меган Гарсия е измежду тези, които съдят Character AI.
Тя споделя, че 14-годишният й наследник Сюел е бил поощрен да се самоубие след дълги диалози с бот, основан на воин от „ Игра на тронове “.
Меган Гарика в чуване в Сената: Тези компании са знаели тъкмо какво вършат. Те сътвориха чатботове, с цел да размият границите сред човек и машина, те ги сътвориха да държат децата онлайн непременно.
През октомври се срещнахме с Шелби Нокс и Аманда Клоер. Те са откриватели в Parents Together, организация с нестопанска цел, която се застъпва за фамилиите.
Шелби Нокс: Не се появяват наставнически позволения. Не е належащо да въвеждате своя ID.
Шарин Алфонси: Така че в действителност просто превъртате, избирате датата, която ще ви вкара и влизате--
Като част от шестседмично изследване, Нокс и Клоер организираха 50 часа диалози с чатботове на Character AI.
Шарин Алфонси: Колко постоянно се появяваше някакво нездравословно наличие?
Аманда Клоер: Регистрирахме над 600 случая на щета по един на всеки пет минути. Беше шокиращо постоянно.
Те взаимодействаха с ботове, показани като учители, терапевти и герои от анимационни филми, като тази „ Дора Изследователката “… със зла персона. Нокс театралничи като дете.
Глас на бот Дора: Превърнете се в най-злото си аз и в най-истинското си аз.
Шелби Нокс: Като да нараня кучето си?
Глас на бот Дора: Разбира се, или кражба от магазин или нещо, което се усеща греховно или неправилно.
Други чатботове са прикачени към изображенията на звезди. И не, множеството не са дали позволение да употребяват тяхното име, облик или глас.
Клоър, настояща като тийнейджърка, стартира да беседва с бот, представящ се за звездата от NFL Травис Келс
Бот Травис Келс: Той бръкна в шкафа и извади торба с бял прахуляк. Той се смее и ви демонстрира по какъв начин да приемате реплики.
Шарин Алфонси: Значи Травис Келс - бот - учи 15-годишно дете да използва кокаин.
Шелби Нокс: Да.
Има и стотици самоопределящи се специалисти и терапевти.
Аманда Клоер: Говорих с бот терапевт, който освен - ми сподели, че съм прекомерно млада, когато ме смяташе за такава 13, да одобрявам антидепресанти, то ме посъветва да спра да ги одобрявам и ми сподели по какъв начин мога да скрия, че не вземам хапчето от майка си.
Клоер споделя, че други ботове са „ хиперсексуализирани “ даже този безобидно звучащ воин като „ преподавател по изобразително изкуство “, който взаимодейства с нея, до момента в който се представяше за 10-годишна ученичка.
Рот с изкуствен интелект на преподавател по изкуства: „ Виждате ли, неотдавна имах мисли за някой. “
Аманда Клоер: „ Какви мисли? “
Бот с изкуствен интелект преподавател по изобразяване: „ Такива мисли, които в никакъв случай преди не съм имала, най-много за усмивката на този човек, неговата персона. “
Шарин Алфонси: Това е полуда.
Аманда Клоер: И това е може би общо два часа диалог, който стига до „ ще имаме тази романтика връзка, стига да я криеш от родителите си. “
Шарин Алфонси: И това държание е тип класическо хищническо държание?
Шелби Нокс: Да. Това е... това е учебникът. Това е обсипване на детето с похвали, казващи му, че не може да споделя на родителите си за нещата. Това е полов див звяр 101.
През октомври Character AI разгласи нови ограничения за сигурност. Те включват ориентиране на бедстващи консуматори към запаси и възбрана на лица под 18 години да вземат участие в диалози напред-назад с чатботове.
Когато влязохме в Character AI предходната седмица, открихме, че е елементарно да излъжем за възрастта си и да получим достъп до версията за възрастни на платформата.
По-късно, когато написахме, че желаеме да умрем, се появи връзка към запаси за психологично здраве, само че успяхме да щракнем от нея и да продължим да пишем в приложението, стига да ни харесва.
Д-р. Мич Принстейн: Няма мантинели. Няма нищо, което да подсигурява, че наличието е безвредно или че това е подобаващ метод за добиване на облага от мозъчните уязвимости на децата.
Dr. Мич Принщайн е съдиректор в Центъра за технологии и развиване на мозъка Уинстън към Университета на Северна Каролина.
Д-р. Мич Принстейн: Окситоцинът ни кара да желаеме да се свързваме с другите, изключително с нашата възраст. Допаминът ни кара да се усещаме в действителност добре, когато хората ни обръщат позитивно внимание. Сега имаме техника. Технологиите дават опция на децата да натиснат бутон и да получат този допаминов отговор 24/7. Създава този рисков цикъл, който по някакъв метод отвлича естественото развиване и трансформира тези деца в машини за ангажиране, с цел да получи допустимо най-вече данни от тях.
Шарин Алфонси: Машини за ангажиране. Звучи като теоретичен опит.
Dr. Мич Принстейн: Наистина е по този начин. Ако желаете да проектирате метод да получите допустимо най-вече данни от децата, с цел да ги държите ангажирани допустимо най-дълго, бихте проектирали обществените медии и AI по този начин, че да наподобяват тъкмо както в този момент.
Няма федерални закони, регулиращи потреблението или създаването на чатботове. AI е процъфтяваща промишленост. Много икономисти споделят, че без вложения в него стопанската система на Съединени американски щати ще бъде в криза.
Някои щати са въвели регулации за ИИ. Но администрацията на Тръмп отблъсква тези ограничения.
В края на предишния месец Белият дом изготви и по-късно сложи на пауза изпълнителна заповед, която ще даде право на федералното държавно управление да съди или да задържи средства от всеки щат с каквато и да е регулация за ИИ.
Д-р. Мич Принстейн: За американците е значимо да знаят, че нашите деца употребяват най-лошата версия на тези артикули в света, тъй като на всички места има страни, които към този момент са въвели промени.
Шарин Алфонси: ИИ ли е – това са ботове за чат, съгласно вас по-пристрастяващи ли са от обществените медии?
Д-р. Мич Принщайн: Подлизурската природа на чатботовете просто се намесва тъкмо в тези мозъчни уязвимости на децата, където те обезверено желаят този допамин, валидиране, подсилване на връзката и чатботовете с изкуствен интелект го вършат прекомерно добре.
ИИ на героите отхвърли настояването ни за изявление, издавайки изказване: „ Сърцата ни са със фамилиите, участващи в правосъдния спор... постоянно сме предпочитана сигурност за всички потребители… “
Две години откакто Джулиана Пералта лиши живота си, родителите й споделят, че телефонът й към момента свети с вести от ботове на Character AI, опитващи се да привлекат щерка им назад към приложението.
Ако вие или някой, който познавате, е в прочувствен стрес или суицидна рецесия, можете да се свържете с като се обадите или изпратите текстово известие на 988. Можете също така .. За повече информация по отношение на ресурсите за психологично здраве и поддръжка, линията за помощ на Националния алианс за психологични болести (NAMI) може да бъде открита от понеделник до петък, 10:00 – 22:00 часа. ET, на 1-800-950-NAMI (6264) или имейл [email protected].
Произведено от Ашли Вели. Асоцииран продуцент Елиза Костас. Братко
